Các quân đoàn xe tăng và cơ giới của tướng Hermann Hoth sau khi đánh vòng qua các khu phòng thủ Suwałki và Osovet, đánh chiếm Grodno đã tăng tốc độ hành quân để đánh chiếm Kaunas và Vilnius trong thời gian sớm nhất nhằm vây bọc phía sau 3 tập đoàn quân Liên Xô đang chiến đấu tại Tây Belorussia. Quân đoàn cơ giới 57 có Sư đoàn xe tăng 12 đi trước mở đường tấn công theo hướng đến Merkine. Quân đoàn cơ giới 39 có các sư đoàn xe tăng 7 và 20 dẫn đầu tấn công theo hướng đến Alytus. Quân đoàn bộ binh 5 (có hai sư đoàn) tấn công theo xe tăng tại địa đoạn giữa Merkine và Alytus. Quân đoàn bộ binh 6 (có hai sư đoàn) tấn công chếch lên phía Bắc tuyến Alytus - Neman hướng tới Prienai, yểm hộ sườn trái cho Quân đoàn cơ giới 39.[5]

Đối diện với quân Đức trong khu vực Alytus là các sư đoàn bộ binh 23, 126, 128 thuộc thê đội dự bị của Tập đoàn quân 11 được giao nhiệm vụ bảo vệ các tiền đồn biên giới và xây dựng các công sự củng cố khu vực Alytus. Trong khu vực Alytus còn có Sư đoàn xe tăng 5 thuộc Quân đoàn cơ giới 3 (Liên Xô), các đại đội phòng thủ vùng biên giới được đặt dưới quyền chỉ huy của Đoàn biên phòng 29 đóng tại Varena (Orany), các đơn vị pháo binh của quân đoàn và trung đoàn bộ binh 184.[6]

Sáng sớm ngày 22 tháng 6, sau các cuộc pháo kích và ném bom của quân đội Đức, quân đội Xô Viết tại khu vực Alytus bị tấn công bởi hai sư đoàn xe tăng của Quân đoàn cơ giới 39 và hai sư đoàn bộ binh thuộc Quân đoàn bộ binh 5. Sức chống cự của sư đoàn bộ binh 128 (Liên Xô) nhanh chóng bị các đơn vị xe tăng Đức đè bẹp. Tư lệnh sư đoàn, thiếu tướng A. S. Zotov bị bắt làm tù binh. Bộ phận còn lại của sư đoàn phải phân tán thành từng nhóm nhỏ vượt sông Neman rút lui theo hướng đến sông Tây Dvina.[7]

Ngày 22 tháng 6, trong khi các đơn vị xe tăng Đức đã dồn quân đội Liên Xô đến bờ Tây sông Neman, Bộ tư lệnh Cụm tập đoàn quân Trung tâm tạm thời điều chuyển hai quân đoàn bộ binh của tập đoàn quân xe tăng 3 cho tập đoàn quân dã chiến 9. Các sư đoàn xe tăng 7 và 20 của Quân đoàn cơ giới 39 xông đến Alytus, cố gắng đánh chiếm hai cây cầu vượt sông trong hành tiến. Khoảng trưa ngày 22 tháng 6, các đơn vị đi trước của sư đoàn xe tăng 5 (Liên Xô) đã đụng độ với hai sư đoàn xe tăng Đức tại ngoại vi Alytus. Sau các trận không kích và pháo kích của tập đoàn quân không quân 8 do tướng Wolfram von Richthofen chỉ huy, các sư đoàn xe tăng của tập đoàn quân xe tăng 3 đã chiếm được cả hai cây cầu và phá vỡ tuyến phòng thủ phía đông sông Neman. Các đơn vị của Bộ Nội vụ Liên Xô được giao nhiệm vụ với việc bảo vệ cầu và các đội công binh phá nổ đã không thể làm bất cứ điều gì để lật đổ hai cây cầu.[7]

Trên bờ đông sông Neman, các lực lượng chính của sư đoàn xe tăng 5 (Liên Xô) đã tham chiến và chặn được xe tăng Đức trong thị trấn Alytus. Cuộc chiến tại Alytus tiếp diễn cho đến cuối buổi tối ngày 22 tháng 6. Sáng ngày 23 tháng 6, trong tình trạng bị nửa hợp vây tại Alytus trên bờ phía đông sông Neman, chủ lực của Sư đoàn xe tăng 5 đã phải giao chiến với hai sư đoàn xe tăng của Quân đoàn cơ giới 39 (Đức). Dưới áp lực của lực lượng đối phương vượt trội, đến khoảng 8 giờ sáng, sư đoàn hầu như đã tiêu thụ hết nhiên liệu và đạn dược, phải vừa đánh, vừa lùi về hướng Vilnius dưới áp lực nặng nề của không quân Đức.[8]

Cựu tư lệnh Tập đoàn quân xe tăng 3 (Đức), tướng Hermann Hoth viết trong hồi ký của mình:

A. V. Isaev dẫn bằng chứng trong trận chiến với xe tăng Đức của trung tá Khorsta Orlov:

Cho đến nay, vẫn chưa có số liệu chính xác về thiệt hại của hai bên trong trận đấu tăng tại Alytus. Tướng Hermann Hoth báo cáo về việc đã phá hủy 170 xe tăng của Liên Xô và người Đức mất 11 xe tăng. Nhưng lại có một điều hiển nhiên là quân đội Liên Xô đã bỏ lại tại Alytus nhiều xe tăng đã hư hỏng từ trước trận đánh mà không thể sửa chữa và chúng được tướng Hermann Hoth tính cả vào chiến tích của mình.[4]

Sau khi bị đánh bật khỏi Alytus, chiều 23 tháng 6, Sư đoàn xe tăng 5 (Liên Xô) còn tham gia một trận đánh nữa ở ngoại ô phía Tây Nam Vilnius và tiếp tục bị tổn thất. Số quân và phương tiện còn lại của nó tiếp tục rút lui. Đến ngày 24 tháng 6, sư đoàn này được nhập vào biên chế Tập đoàn quân 13 tại khu vực Molodecchno (nam Belorrussia). Sư đoàn còn lại 15 xe tăng, 20 xe bọc thép và 9 khẩu pháo. Ngày 26 tháng 6, sư đoàn về đến Borisov và tiếp tục được rút về Kaluga để tổ chức lại.[7]